Ngày 9 tháng 3 năm 2004, Brian McFadden tuyên bố rời nhóm để dành nhiều thời gian hơn cho gia đình riêng. (Vợ Brian là Kerry Katona, cựu thành viên ban nhạc Atomic Kitten và họ đã có hai con gái là Molly & Lilly-Sue. Tuy nhiên, hai người đã chia tay tháng 11/2004.) Nhiều người tin rằng Westlife sẽ sớm tan rã nhưng sự thực không phải như vậy.

Với 4 thành viên còn lại, vào tháng 11/2004, Westlife đã phát hành album thứ sáu, "Allow Us To Be Frank", với phong cách nhạc Swing và nhạc Jazz, gồm những ca khúc từ thập niên 1950, thập niên 1960 được cover lại của các nghệ sĩ như Frank Sinatra, Nat King Cole... Album đã vươn tới vị trí #3 tại Anh.

Ngày 24 tháng 10 năm 2005, đĩa đơn "You Raise Me Up" được phát hành và nhanh chóng đạt vị trí số một trong bảng xếp hạng Anh. Một tuần lễ sau, nhóm phát hành album thứ bảy với tựa "Face To Face". Album này lại đưa Westlife tới ngôi quán quân bảng xếp hạng, cùng thời điểm đó, "You Raise Me Up" vẫn đứng vững ở vị trí số 1, Westlife đã trở thành ban nhạc đầu tiên trong lịch sử tại Anh có đĩa đơn và album cùng đạt số một trong một tuần lễ. Các đĩa đơn còn lại trích từ album gồm: "When You Tell Me That You Love Me" (Song ca với Diana Ross, #2 tháng 12/2005), "Amazing" (#4 tháng 2/2006).

Album thứ tám của Westlife, "The Love Album", đã được phát hành ngày 20 tháng 11 năm 2006 và ngay lập tức đạt #1 tại Anh và Ireland. Trước đó hai tuần lễ, đĩa đơn "The Rose" (phát hành ngày 6 tháng 11) cũng đã trở thành ca khúc #1 thứ 14 của Westlife tại Anh. Theo người quản lý của Westlife, nhóm chưa có dự định phát hành single thứ hai từ album mặc dù lúc đầu "Total Eclipse Of The Heart" đã được chọn.

Vào năm 2007, Westlife đã ra album thứ 9, "Back Home" với 3 single rất thành công: Home, Us against the world và Something right.

Cuối năm 2008, nhóm nhạc tiếp tục thực hiện tour diễn "10 years of Westlife" tại Croke Park Stadium kỉ niệm chặng đường 10 năm thành lập nhóm và 1 tour diễn tại St.Patrick Park vào ngày 15 tháng 3 năm 2009. Mới đây, Westlife đã xếp thứ 3 trong 5 nhóm nhạc vĩ đại nhất Anh quốc.

Vào cuối tháng 11 năm 2009, Westlife đã phát hành album thứ 10 của họ: "Where We Are". Album đẫ đứng vị trí thứ 28 ở bảng xếp hạng album cuối năm ở Anh. "What About Now[2]"(phát hành vào 10/2009) là single duy nhất được trích từ album, đứng vị trí thứ 2 ở bảng xếp hạng "Irish Single Chart".

Vào tháng 5 năm 2010, Westlife tổ chức "Where we are tour", một tour diễn đi qua các nước ở châu Âu